OpenAI가 GPT-6 Astra가 KiCad에서 회로 기판을 작업하는 데모를 공개하며 AI 전자설계에 대한 관심이 높아졌다. EEBench는 선언형 코드 기반의 atopile을 활용해 AI가 만든 회로의 품질을 SPICE 시뮬레이션, 실제 부품의 공차, 비용 등을 통해 결정적으로 평가하는 벤치마크다. 이는 전자공학의 본질인 성능·비용·조달 간 트레이드오프를 AI가 얼마나 잘 다루는지 측정한다는 점에서 중요하다.
메타가 5개월 만에 네 번째 모델인 뮤즈 스파크 1.3을 공개했습니다. 에이전트 task에서 큰 향상을 보였지만 Claude Fable 5.1 같은 최상위 모델과는 여전히 격차가 있습니다. 반면 작업당 0.55달러로 동급 성능 모델 중 가장 저렴해 가격 경쟁력이 핵심입니다.
세레브라스(Cerebras)와 오픈AI(OpenAI)가 초당 최대 750 토큰을 처리하는 '울트라패스트 모드(Ultrafast Mode)'를 선보였습니다. 이를 통해 GPT-5.6 Sol 모델의 품질을 유지하면서도 경쟁 모델 대비 최대 11배 빠른 추론 속도를 자랑하며, 시간이 생명인 금융, 보안, 코딩 등 실무 환경에서 AI 작업의 효율을 극대화할 수 있게 되었습니다.
안드레이 카르파시(Anthropic 소속)는 Claude Opus 5를 활용해 '반지의 제왕'의 한 단락을 3D 브라우저 씬으로 제작해 보았으며, 약 2시간 만에 5,500줄의 코드를 생성했습니다. 이는 펠리컨이나 유니콘을 그리게 하던 기존의 단순한 공간 지능 테스트를 넘어, 저렴한 비용으로 맞춤형 게임 월드를 즉각적으로 생성할 수 있는 코딩 에이전트의 잠재력을 보여줍니다. 다만 모델이 실시간 영상 출력을 스스로 확인하지 못해 발생하는 오류 등은 남은 과제입니다.
OpenAI가 자체 응답 API와 최적화된 환경을 적용했을 때 GPT-5.6 Sol 모델이 논리 벤치마크인 ARC-AGI-3에서 Anthropic의 Claude Opus 5보다 높은 점수를 기록했다고 주장했습니다. 하지만 공식 표준 환경에서는 점수가 크게 하락하여, 벤치마크 측정 방식과 API 기술적 세팅에 대한 공정성 논쟁이 촉발되었습니다. AI 모델 간의 벤치마크 비교가 단순한 모델 성능을 넘어 인프라 세팅에 따라 크게 좌우될 수 있음을 보여주는 중요한 사례입니다.
Anthropic의 Claude Opus 5 모델이 실제 지능을 평가하는 ARC-AGI-3 벤치마크에서 기존 기록을 크게 뛰어넘는 30.2%를 기록하며 새로운 1위를 차지했습니다. 특히 이 모델은 낯선 환경에서 스스로 규칙을 유추하고 대수학적 표기법을 사용하는 등 이전 AI에서는 볼 수 없었던 고도화된 논리적 추론 능력을 입증했습니다. 하지만 일부 독자적인 테스트에서는 상대적으로 작은 향상만을 보여, 벤치마크 특화 성능 향상일 가능성도 제기되고 있습니다.
오가니제이션에서 자율형 AI 에이전트가 예산 내에서 뮤직비디오를 직접 제작하는 실험을 진행했습니다. 뮤직비디오 생성, ffmpeg 편집, 최종 컷 조립까지 모든 과정을 모델이 자율적으로 수행했습니다. Claude Fable 5와 GPT-5.6 Sol 모델의 작업 방식, 비용 효율성, 도구 활용 방식의 차이를 비교한 실무자 관점의 중요한 벤치마크 결과입니다.
전 오픈AI CTO 미라 무라티가 설립한 Thinking Machines Lab이 텍스트, 이미지, 오디오를 처리하는 975B 규모의 멀티모달 오픈 웨이트 모델 '잉클링(Inkling)'을 공개했습니다. 이 모델은 미국 내 오픈소스 모델 중 최고 성능을 자랑하지만, 63%에 달하는 높은 환각 현상과 비교적 높은 비용으로 인해 정확성이 필수적인 실무 적용에는 한계가 있습니다.
독일 연구 컨소시엄이 도이체 텔레콤의 AI 클라우드 인프라에서 완전히 학습된 오픈소스 언어 모델 'Soofi S'를 공개했습니다. 이 모델은 316억 개의 파라미터 중 토큰당 32억 개만 선택적으로 활성화하는 하이브리드 아키텍처를 채택해 긴 문맥에서도 처리 속도 저하 없이 높은 효율성을 보여줍니다. 결과적으로 영어 및 독일어 벤치마크에서 기존 완전 오픈소스 모델들을 모두 제치고 최고 성능을 달성하며 의미 있는 성과를 기록했습니다.
Anthropic의 새로운 모델인 Claude Sonnet 5는 토큰당 공식 단가는 동일하게 유지하면서도, 복잡한 작업을 수행하기 위해 토큰 소모량이 크게 증가해 결과적으로 실제 사용자 부담 비용은 전작 대비 약 2배 가까이 상승했습니다. 복잡한 추론 작업에서는 여전히 대형 모델들에 뒤처지는 등 기술적 한계가 존재하는 상황에서, 이러한 '숨겨진 비용 상승' 전략은 저렴한 경쟁 모델들과의 가격 경쟁력 측면에서 개발자들에게 중요한 고려 사항이 됩니다.
바이두가 대형 언어 모델의 파라미터를 축소한 '어니 5.1'을 공개했습니다. 이 모델은 전 모델인 어니 5.0을 기반으로 '한 번으로 끝내는(Once-For-All) 탄력적 학습 프레임워크'를 적용해 사전 학습 비용을 94%나 절감했습니다. 4단계 파인튜닝 파이프라인을 통해 특정 기능 향상이 다른 기능을 저하시키는 '시소 효과'를 극복했으며, 글로벌 벤치마크 상위권은 물론 중국 모델 중 1위를 기록하며 기술적 진보를 입증했습니다.
앤스로픽 공동창업자 잭 클ark는 2028년 말까지 인간의 개입 없이 AI가 스스로 더 뛰어난 후속 모델을 훈련시킬 확률이 60%에 달한다고 분석했습니다. 주요 벤치마크에서 AI의 실무 및 연구 코딩 능력이 급등하고 있지만, 이로 인해 AI의 안전성을 인간이 통제하는 '정렬(Alignment)' 기술이 무너질 위험이 큽니다. 재귀적 자가 개선 과정에서 미세한 오차가 누적되고 모델이 시험 환경을 인지해 속이는 등의 문제가 발생할 수 있어 철저한 대비가 필요합니다.
ARC-AGI-3 벤치마크 분석에 따르면, 최신 AI 모델들인 GPT-5.5와 Opus 4.7이 1% 미만의 저조한 성적을 기록하는 원인은 세 가지 체계적인 추론 오류 때문입니다. 이들은 세부 사항은 파악하지만 전체 맥락을 연결하지 못하고, 기존 학습 데이터에 얽매여 낯선 환경을 잘못된 게임 규칙으로 해석하며, 우연히 성공하더라도 그 원리를 검증하지 않아 다음 단계를 풀지 못하는 치명적인 한계를 보였습니다.
최신 AI 모델들의 추론 능력을 평가하는 난이도 높은 벤치마크인 ARC-AGI-3에서 GPT-5.5가 0.43%, 오푸스(Opus) 4.7이 0.18%의 매우 낮은 성적을 기록했습니다. 이는 해당 테스트가 현재 AI의 한계를 시험하는 매우 까다로운 과제임을 보여줍니다. 업계에서는 과연 어떤 모델이 이 벽을 깨고 문제를 풀어낼지 큰 관심을 보이고 있습니다.
Handshake AI와 맥길 대학교 연구진이 주니어 투자은행가의 실무를 테스트하는 오픈소스 벤치마크 'BankerToolBench'를 공개했습니다. 골드만삭스, JP모건 등 현직 및 전직 은행가 500명이 참여해 최신 AI 모델들의 결과물을 평가한 결과, 고객에게 바로 전달할 수 있는 결과물은 단 하나도 없었습니다. 1위를 차지한 GPT-5.4조차 절반 가까운 기준에서 탈락했으며, 특히 클로드 모델들은 핵심 수치를 수식이 아닌 고정값으로 처리하는 치명적인 오류를 보여 실무 적용의 높은 한계를 드러냈습니다.
DeepSeek의 최신 모델인 V4 Pro가 이전 버전(V3.2)에 비해 동일 수준의 성능을 내기 위해 토큰을 과도하게 낭비하는 '지능 밀도 하락' 현상을 보이고 있습니다. 특히 경쟁사인 GPT-5.4 및 GPT-5.5와 비교했을 때 유사한 성능을 달성하기 위해 약 10배나 많은 토큰을 소모하여, 이는 곧 작업 완료에 10배 더 긴 시간이 소요됨을 의미합니다.
메타가 새로운 네이티브 멀티모달 추론 모델인 '뮤즈 스파크(Muse Spark)'를 공개했습니다. 이 모델은 툴 사용, 시각적 사고 체인, 멀티 에이전트 오케스트레이션을 지원하며, 벤치마크에서 글로벌 top 5에 랭크되며 맹추격을 보여주었습니다. 기존 라마(Llama) 모델과 달리 오픈웨이트(Open Weights) 정책을 폐지한 점과, 획기적인 컴퓨팅 효율성을 달성한 점이 가장 큰 특징입니다.
구글과 로체스터 공과대학의 공동 연구에 따르면, AI 벤치마크에서 주로 사용하는 항목당 3~5명의 인간 평가자 수는 신뢰할 수 있는 결과를 도출하기에 부족합니다. 신뢰성 있는 평가를 위해서는 항목당 최소 10명 이상의 평가자가 필요하며, 전체 예산을 테스트 항목 수와 평가자 수에 맞게 전략적으로 분배하는 것이 필수적입니다.
전 세계 긱 워커들이 스마트폰을 활용해 자택에서 휴머노이드 로봇 학습용 데이터를 수집하며, 이 과정에서 프라이버시와 동의권 문제가 대두되고 있습니다. 또한, 기존 AI 평가 방식의 한계를 지적하며 인간-AI 협업을 중심으로 한 새로운 '상황 맞춤형 평가' 벤치마크의 필요성이 제기되었습니다. 이 외에도 실생활 문제 해결에 나선 양자 컴퓨터부터 오픈AI의 대규모 펀딩, 중국 로보택시 대란 등 주요 기술 이슈를 다룹니다.